AI 의인화

인간이 LLM 등 AI를 의인화하는 경향을 비판하는 주장을 자주 접한다. 나는 이런 비판이 성급하다고 생각한다.

인간은 원래 의인화를 해왔다

클리포드 내스는 1993년 논문 “의인화, 에이전시, 에토포에아: 사회적 행위자로서의 컴퓨터”에서 컴퓨터 인터페이스가 최소한의 ‘사회적 단서social cue’만 제공하는 경우에도 사용자들은 컴퓨터를 의인화하는 경향이 있으며, 이를 통해 사용자가 컴퓨터와 사회적인 상호작용을 하도록 유도할 수 있다고 주장했다. (CASA 패러다임)

사람들이 컴퓨터를 의인화하는 경향 자체에 대해서는 전부터 알려져 있었지만, 내스의 연구는 두 가지 점에서 의미가 있었다.

• 첫째, 내스 이전에는 의인화를 유도하기 위해서는 상당히 정교하고 복잡한 사회적 단서가 필요할 것이라고 가정했으나 내스는 최소한의 단서만으로도 의인화를 유도할 수 있음을 밝혔다.
• 둘째, 내스 이전에는 사용자의 무지 또는 심리적 오류로 인해 의인화 경향이 나타나는 것으로 여겼으나 내스는 컴퓨터에 익숙한 사용자들도(즉, 컴퓨터에 ‘자아’가 없음을 충분히 알고 있는 사람들도) 의인화를 한다는 점을 밝혔다.

다시 말하면, LLM에 대한 의인화는 새로운 경향이 아니며 이런 현상이 나타나는 이유는 LLM이 뛰어나서도 아니고(내스의 첫번째 주장) 사람들이 멍청해서도 아니다(내스의 두번째 주장).

의인화의 장점

철학자 대니얼 데닛은 1971년 논문 Intentional Systems에서 세상에서 일어나는 다양한 현상을 이해하고 예측하기 위해 인간이 세 가지 관점 중 하나를 취할 수 있다고 주장한다.

• 물리적 입장(physical stance): 물리법칙에 근거하여 행동을 예측하는 방식을 말한다. 예를 들어 저 공이 굴러가는 이유는 내가 발로 차서 물리적 힘을 가했기 때문이다.
• 설계적 입장(design stance): 기능적 설계에 근거하여 행동을 예측하는 방식을 말한다. 예를 들어 리모콘 버튼을 눌렀더니 TV가 켜진 이유는 그렇게 설계되었기 때문이다.
• 의도적 입장(intentional stance): 믿음과 욕구에 기반하여 행동을 예측하는 방식을 말한다. 예를 들어 영희가 저쪽으로 가고 있는 이유는 전시를 보고 싶은데(욕구) 저쪽에 전시관이 있다고 생각하기 때문이다(믿음).

데닛은 이렇게 말한다.

나는 믿음과 욕구(그리고 희망, 두려움, 의도, 느낌 등)라는 관점에서 그 동작을 설명하거나 예측할 수 있는 시스템에 대해 고찰하고자 한다. 이러한 시스템을 의도적 시스템이라고 부르겠다. … 체스를 두는 프로그램의 행동을 “설계 관점(단순한 인공물을 이해하기에 적합한 관점)“이나 “물리 관점(단순한 물체의 움직임을 이해하기에 적합한 관점)“에서 예측하기란 거의 불가능하다. 이런 프로그램은 지나치게 복잡한 나머지 프로그램을 설계한 사람조차도 설계 관점에서 바라보기가 쉽지 않다.

I wish to examine the concept of a system whose behavior can be (at least sometimes) explained and predicted by relying on ascriptions to the system of beliefs and desires (and hopes, fears, intentions, hunches, …). I will call such systems Intentional systems. … The best chess-playing computers these days are practically inaccessible to prediction from either the design stance or the physical stance; they have become too complex for even their own designers to view from the design stance.

어떤 종류의 시스템은 물리적 입장 또는 설계적 입장이 아닌 의도적 입장(보통은 “지향적 입장”이라고 번역)을 취할 때 그 동작을 더 쉽게 설명하고 예측할 수 있다.

AI가 그렇다.

AI는 인간과 본질적으로 다른가

AI를 의인화하지 말하야할 근거 중 하나로 “LLM은 거대한 행렬 연산에 불과하며 인간의 마음과 본질적으로 다르다”고 주장하는 사례도 자주 본다.

하지만 어떤 인공물이 물리적으로 구현된 방식이 인간의 뇌와 상당히 다르다는 점을 근거로 해당 인공물에는 “의식이 없다”거나 “인간과 본질적으로 다르다”는 주장은 기본적으로 기능주의(물리적 구현 방식과 무관하게, 수행하는 기능이 동일하면 같은 것이라는 관점)를 수용하지 않을 때에만 성립할 수 있다. 하지만 심리철학의 여러 주제와 마찬가지로 기능주의를 확고하게 입증하거나 기각하기는 쉽지 않다.

AI의 계산이 인간의 의식과 본질적으로 같은지 다른지, 어떤 부분이 얼마나 같은지 등에 대해 우리는 아직 거의 모른다.

좋은 의인화와 나쁜 의인화

“맞다/틀리다”와 “유익하다/무용하다”는 별개의 축인데, “모든 의인화는 부적절하다” 또는 “의인화를 하는 이유는 인간이 멍청하기 때문이다” 등은 틀린 주장일 뿐 아니라 유익하지도 않다고 생각한다.

의인화는 자연스러운 경향이며, 때론 유익하다. 인간은 때론 알면서, 때론 모른채로 의인화를 한다. 어떤 의인화는 좋고 어떤 의인화는 나쁘다고 구분해서 생각하는 게 타당하고 유익한 관점이라고 본다.

의인화에 장점에 대해선 몇 가지 얘기를 했으니 나쁜 의인화에 대해 생각해보자.

• AI 제품을 제공하는 자들이 돈을 벌 목적으로 과도하게 의인화를 하거나 감정 이입을 하도록 유도하는 방향으로 제품을 설계하거나 홍보하기 (관련 연구: Computers as bad social actors)
• 신격화하거나 숭배하기 (내 주관적 판단으로는 효율적 가속주의나 장기주의가 이 범주에 속하는 것 같다)